Ingestion de données : avec Datastream, Snowflake chasse sur les terres de Confluent | LeMagIT

Plutôt qu’un système Apache Kafka managé, Snowflake entend simplifier l’ingestion de données de streaming depuis ce système orienté événements. Un moyen de tacler Confluent et sa solution TableFlow.

Snowflake continue d’étoffer ses moyens d’ingestion de données. Après les tables dynamiques qui se mettent à jour automatiquement pour refléter le résultat d’une requête, l’éditeur a présenté Datastream, un service de streaming de données « compatible avec Apache Kafka ».

Bientôt en préversion privée, Datastream est un conteneur logique qui regroupe les topics, les pipes et les groupes de brokers Kafka. Le service géré par Snowflake doit écouter les producteurs et matérialiser les données dans des tables dynamiques Iceberg ou propriétaires. Pour cela, Snowflake prend directement en charge le protocole Kafka Wire.

Il est également possible d’exposer les données de ces tables vers des topics Kafka accessibles par des clients consommateurs, da...
[Courte citation de 8% de l'article original]